Beliau dilahirkan di Wilayah Guangdong di selatan Negara China. Ibubapanya menetap di kampung Tan Shui di daerah Kwai Yap. Beliau juga merupakan keturunan Hakka. Yap Ah Loy meninggalkan China melalui Macau untuk ke Malaya pada 1854 pada umur 17 tahun dan mendapati Malaya sangat berbeza dari China. Malaya pada ketika itu dikenali sebagai negara emas dan bijih timah. Beliau pada mulanya tinggal di Durian Tunggal dan kemudiannya menumpang di rumah pak ciknya di Kesang.

Pada mulanya, dia gagal menyara diri dan telah membuat keputusan untuk kembali ke China. Ketika kapalnya berlabuh di tengah perjalanan, kerana terdesak kerana tak ingin kembali dengan tangan kosong, dia telah mencuba nasib di meja judi. nasib tak menyebelahinya dan dia kehilangan semua duit yang dia ada. kerana terlalu malu untuk balik setelah gagal, dia mengambil keputusan untuk mencuba lagi sekali lalu beliau pun ke Lukut.

Di Lukut, Yap Ah Loy berkerja sebagai tukang masak dan kemudiannya penternak babi. Kemudiannya dia berpindah ke Sungai Ujong. Dia bernasib baik dapat tinggal dengan Liu Ngim Kong, ketua panglima atau orang kanan kepada Kapitan Shin. 1860, berlakunya perang Sungai Ujong dimana Kapitan Shin telah terbunuh. Yap Ah Loy sendiri hampir mati akibat perang itu. Kapitan Yap Ah Shak kemudiannya memberi kata putus untuk melantik Yap Ah Loy sebagai kapitan Sungai Ujong.

Dalam enam atau tujuh tahun, Yap Ah Loy bertukar menjadi seorang yang tegas dan lebih arif dalam perniagaan. Dia ketika itu sangat berbeza dari dirinya ketika mula tiba di Malaya. Yap Ah Loy pergi ke Kuala Lumpur atas permintaan Liu Ngim Kong yang ketika itu telah menjadi orang kanan Kapitan Hiu Siew. Liu Ngim Kong dan Yap Ah Loy sangat rapat. Apabila Liu Ngim Kong menjadi kapitan kedua Kuala Lumpur, dia memilih Ah Loy untuk menjadi pemangkunya.